StepPO: Step-Aligned Policy Optimization for Agentic Reinforcement Learning
StepPO：面向智能体强化学习的步骤对齐策略优化
🧭 智能体强化学习 · 步骤级策略优化 ★ 深度解读
University of Science and Technology of China
将智能体RL从令牌级MDP重构为步骤级MDP，通过步骤级信用分配和重要性采样，显著提升多步交互任务性能。
📌 工作参考价值（4 点）
- 步骤级信用分配适用于多步交互场景：在电商搜索、多轮对话推荐等需长链路决策的任务中，将信用分配到具体交互步骤（如搜索、点击、信息获取）比平铺到所有token更能识别关键动作，可直接借鉴步骤级GAE取代令牌级或轨迹级优势估计。
- 步骤级重要性采样稳定多token动作更新：当智能体每步生成多个token时，采用几何平均重要性比率可避免长动作的极端梯度，适合业务中工具调用、长文本生成等场景，直接应用于PPO更新。
- 工程上采用步骤原生轨迹表示：训练框架以步骤为单元存储状态、动作、奖励，实现更紧凑的上下文管理与前缀复用，能降低多步交互的推理与训练成本，适合生产环境异步训练与混合智能体管理。
- 对架构与数据管线的启示：通过网关+数据池解耦智能体与训练系统，支持异构智能体（规则、黑盒、白盒）异步贡献轨迹数据，可迁移至多来源推荐/客服智能体的持续优化。